kafkatopic限制
刀振19327865257咨詢： kafka能做topic廣播嗎?
大同縣桿機(jī)構(gòu)回復(fù)：
______ bg4.png 可以的只要groupID不一樣就行但是不知道storm kafka里怎么哪個(gè)字段是設(shè)置groupid的
刀振19327865257咨詢： spark接kafka怎么區(qū)分topic -
大同縣桿機(jī)構(gòu)回復(fù)：
______ 收到的數(shù)據(jù)是(key, value)格式,key是kafka message的topic, value是message的payload
刀振19327865257咨詢： 如何使用python 連接kafka 并獲取數(shù)據(jù) -
大同縣桿機(jī)構(gòu)回復(fù)：
______ 連接 kafka 的庫(kù)有兩種類型,一種是直接連接 kafka 的,存儲(chǔ) offset 的事情要自己在客戶端完成.還有一種是先連接 zookeeper 然后再通過 zookeeper 獲取 kafka 的 brokers 信息, offset 存放在 zookeeper 上面,由 zookeeper 來協(xié)調(diào). 我現(xiàn)在使...
刀振19327865257咨詢： kafka offset是否有序 -
大同縣桿機(jī)構(gòu)回復(fù)：
______ massage: kafka中最基本的傳遞對(duì)象,有固定格式.topic: 一類消息,如page view,click行為等.producer: 產(chǎn)生信息的主體,可以是服務(wù)器日志信息等.consumer: 消費(fèi)producer產(chǎn)生話題消息的主體.broker: 消息處理結(jié)點(diǎn),多個(gè)broker組成kafka集群.partition: topic的物理分組,每個(gè)partition都是一個(gè)有序隊(duì)列.segment: 多個(gè)大小相等的段組成了一個(gè)partition.
刀振19327865257咨詢： 在spring怎么讀取kafka文件 -
大同縣桿機(jī)構(gòu)回復(fù)：
______ ound Channel Adapter用來發(fā)送消息到Kafka. 消息從Spring Integration Channel中讀取. 你可以在Spring application context指定這個(gè)channel. 一旦配置好這個(gè)Channel,就可以利用這個(gè)Channel往Kafka發(fā)消息. 明顯地,Spring Integration特定的消息發(fā)送給這個(gè)Adaptor,然后發(fā)送前在內(nèi)部被轉(zhuǎn)為Kafka消息.當(dāng)前的版本要求你必須指定消息key和topic作為頭部數(shù)據(jù) (header),消息作為有載荷(payload). 例如
刀振19327865257咨詢： kafka消費(fèi)者java版本讀取不到消息怎么辦 -
大同縣桿機(jī)構(gòu)回復(fù)：
______ 3. 啟動(dòng)服務(wù)3.1 啟動(dòng)zookeeper啟動(dòng)zk有兩種方式,第一種是使用kafka自己帶的一個(gè)zk.bin/zookeeper-server-start.sh config/zookeeper.properties&另一種是使用其它的zookeeper,可以位于本機(jī)也可以位于其它地址.這種情況需要修改config下...
刀振19327865257咨詢： kafka獲取數(shù)據(jù)的幾種方式 -
大同縣桿機(jī)構(gòu)回復(fù)：
______ 一、基于Receiver的方式 這種方式使用Receiver來獲取數(shù)據(jù).Receiver是使用Kafka的高層次Consumer API來實(shí)現(xiàn)的.receiver從Kafka中獲取的數(shù)據(jù)都是存儲(chǔ)在Spark Executor的內(nèi)存中的,然后Spark Streaming啟動(dòng)的job會(huì)去處理那些數(shù)據(jù). ...
刀振19327865257咨詢： spark 怎么處理kafka中的json的數(shù)據(jù) -
大同縣桿機(jī)構(gòu)回復(fù)：
______ 1、KafkaUtils.createDstream 構(gòu)造函數(shù)為KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers來接收數(shù)據(jù),利用的是Kafka高層次的消費(fèi)者api,對(duì)于所有的receivers接收到的數(shù)據(jù)將會(huì)保存在spark ...
刀振19327865257咨詢： kafka 怎么判斷l(xiāng)og 可以刪除 -
大同縣桿機(jī)構(gòu)回復(fù)：
______ 1. 刪除logs下的相關(guān)記錄;2. 到zookeeper下的brokers/topics刪除相關(guān)節(jié)點(diǎn).--------------不好用!!先邏輯刪除(./bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic dnsTopic --zookeeper 10.0.1.44:2181,10.0.1.45:2181,10.0.1.46:...
